Frederick Augustus Washington Bailey sinh ra là nô lệ tại Hạt Talbot, Maryland, được đặt tên theo họ của mẹ, Harriet Bailey. Cậu bé chào đời trong túp lều của bà ngoại. Sau này, khi trốn thoát lên phương Bắc, cậu bỏ tên lót, rồi đổi họ thành Douglass.

Không ai biết chắc Douglass ra đời ngày nào, nên ông chọn ngày 14 tháng 2 để kỷ niệm sinh nhật. Ngay trong trang đầu của quyển tự truyện Narrative of the Life of Frederick Douglass, an American Slave, ông viết: "Tôi không biết chính xác mình bao nhiêu tuổi, và chưa bao giờ đọc văn kiện chính thức nào ghi lại ngày sinh của mình." Douglass là con lai, có huyết thống dân da đỏ về phía mẹ, pha trộn với các dòng máu châu Phi và châu Âu.

Ông viết về những ngày thơ ấu sống với mẹ:

Cậu bé Frederick sống với bà ngoại, nhưng đến bảy tuổi lại bị tách khỏi bà và bị đưa đến nông trại Wye House để làm việc dưới quyền quản đốc của Aaron Anthony. Mẹ mất khi lên mười, rồi Anthony cũng qua đời, cậu bé được giao cho Lucretia Auld, vợ của Thomas Auld. Thomas sai cậu đến hầu anh của Thomas, Hugh Auld, ở Baltimore.

Đến năm mười hai tuổi, vợ của Hugh Auld, Sophia, dạy cậu bé học đánh vần mặc dù luật của bang Maryland cấm dạy nô lệ đọc chữ. Douglass miêu tả Sophia là một phụ nữ nhân hậu, chăm sóc cậu bé trong tình người. Khi biết việc này, Hugh Auld phản đối gay gắt, nói rằng nếu dạy nô lệ biết đọc họ sẽ bất bình với điều kiện sống và mơ ước tự do. Douglass kể lại rằng đây là "bài diễn văn chống nạn nô lệ" đầu tiên mà ông từng nghe. Trong quyển tự truyện, Douglass cho biết ông cũng học đọc từ những đứa trẻ da trắng cũng như bằng cách quan sát chữ viết của những người ông cùng làm việc. Rồi đến một ngày, khi thấy Douglass đang đọc báo, Bà Auld chạy đến giật tờ báo khỏi tay cậu, nét mặt bà biểu lộ rằng giáo dục không thích hợp với người nô lệ.

Douglass, cách kín giấu, tiếp tục tự học đọc và viết. Sau này ông thường nói, "kiến thức là con đường giúp thoát khỏi kiếp nô lệ để đến tự do." Douglass bắt đầu đọc báo, tiểu luận, tài liệu chính trị, và các loại sách. Thế giới mới rộng mở đã giúp ông khởi sự tra vấn và lên án chế độ nô lệ. Douglass thuật lại rằng lúc mười hai tuổi ông tìm thấy cuốn The Columbian Orator, quyển sách giúp làm sáng tỏ và định hình quan điểm của ông về tự do và về quyền con người. Xuất bản năm 1797, The Columbian Orator là một tuyển tập gồm những bài tiểu luận về chủ đề chính trị, những bài thơ, những bài diễn văn, và những tranh luận được sử dụng rộng rãi trong các lớp học ở Mỹ để hỗ trợ học sinh luyện đọc và học văn phạm.

Khi về làm thuê cho William Freeland, hằng tuần Douglass dạy những nô lệ khác đọc Tân Ước trong giờ Trường Chúa Nhật. Tin được lan truyền, các nô lệ tìm đến, lớp học thu hút đến 40 học viên. Lớp học kéo dài được sáu tháng mà không bị để ý đến. Mặc dù Freeland vẫn dễ dãi đối với hoạt động này, các chủ nô khác tỏ ra giận dữ. Đến một ngày chủ nhật, họ tụ tập lại đem theo gậy gộc và gạch đá, lớp học bị giải tán vĩnh viễn.

Năm 1833, Thomas Auld đòi lại Douglass (theo Douglass thì đây là cách Auld trừng phạt Hugh), rồi sai đến làm việc cho Edward Covey, một nông gia nghèo khét tiếng hành hạ nô lệ. Covey thường đánh đập Douglass và hầu như khiến cậu suy sụp tinh thần. Cuối cùng, cậu thiếu niên mười sáu tuổi Douglass phản kháng và bắt đầu đánh trả. Khi nhận thấy Douglass dám đối đầu với mình, Covey ngưng đánh đập cậu.